标签：teacher forcing
-
暴露偏差：teacher forcing 的训练-推理不一致训练时模型永远看到真实前缀，推理时却要吃自己生成的输出，两个分布不一致，误差一步错步步错。本文分析暴露偏差的误差累积机制，以及 scheduled sampling 等修复思路为什么只能部分起效。
训练时模型永远看到真实前缀，推理时却要吃自己生成的输出，两个分布不一致，误差一步错步步错。本文分析暴露偏差的误差累积机制，以及 scheduled sampling 等修复思路为什么只能部分起效。